Tesla AI Day 2022 - bryan的文章 - 知乎 https://zhuanlan.zhihu.com/p/574055865

2021-2022年，Tesla的自动驾驶核心算法，继续把Transformer用得炉火纯青，Occupancy和Lane都用到了Transformer机制。另外，也继续把BEV发扬光大，Occupancy和Lane都是在广义的BEV视角下开展。

• Full Self Driving
  • 停车场驾驶
  • 街头驾驶
  • 红绿灯，停车标志
  • 路口，物体交错
  • 转弯

training infra[21:11]

Neural Networks

Occupancy 占用网络

基础几何层，基于视觉得出物体的空间占用，并预测未来轨迹

Properties

• Volumetric Occupancy
• Multi-Camera Video Context
• Persistent Through Occlusions
• Occupancy Semantics
• Occupancy FlowResolution Where It Matters
• Efficient Memory and Compute
• Runs in ~10 Milliseconds
  backbone——feature（RegNet）
  BiFPN-EfficienNet——FPN，多尺度识别，解决近大远小

三维重建NeuralRecon——对齐问题？
transformer-vit？——之前吃数据，难落地，但这里成功了

（猜测）3D的query 查2D的key——用attention解决不同视角融合的冲突，给各自分配合适的权重，用于构建向量空间

占用网络对这种可变形车辆的det和fit更好，可以更好的建模

Lanes & Objects 语义层

环境：车道线检测&处理预测
车辆：运动学状态控制（输入视频，输出运动状态：位置，v，a，颠簸）

Lanes

future

Training Data

Auto Labeling[42:30]

分析文章：聊一聊Tesla AI Day 2022 中的Auto Labeling - 隋唐的文章 - 知乎

Simulation

Data Engine

AI Compiler & Inference

（完全听不懂这里，，，，

Planning

对汽车周围世界进行向量空间建模，以此进行规划。比如路径规划